任何矩陣 $A \in \mathbb{R}^{m \times n}$ 的四個基本子空間並非孤立存在；它們在幾何上以正交補集的形式相互關聯。這種「正交架構」是透過投影與最小二乘法解決不一致系統的前提。我們確立了行空間 $C(A^T)$ 在 $\mathbb{R}^n$ 中與零空間 $N(A)$ 完全垂直，而列空間 $C(A)$ 則在 $\mathbb{R}^m$ 中與左零空間 $N(A^T)$ 垂直。
定義與正交性
要理解矩陣的結構，我們必須首先定義子空間垂直的含義。這比單純向量的正交性條件嚴格得多。
- 子空間正交性：向量空間中的兩個子空間 $V$ 與 $W$ 正交，若 每個 向量 $v$ 屬於 $V$ 時，與 每個 向量 $w$ 屬於 $W$。正式定義為：對所有 $v \in V$ 與所有 $w \in W$，均有 $v^T w = 0$。
- 正交補集（$V^\perp$）：子空間 $V$ 的正交補集包含 每個 所有與 $V$ 垂直的向量。記作 $V^\perp$（讀作「V 正交」）。
正交性的基本定理
線性代數的核心恆等式將矩陣運算與其空間的幾何特性連結起來：
行空間證明
若 $x$ 屬於零空間 $N(A)$，則 $Ax = 0$。這表示 $A$ 的每一行與 $x$ 的內積皆為零。由於行空間 $C(A^T)$ 由這些行張成，因此行空間中每一個向量都必須與 $x$ 垂直。
$$x^T(A^T y) = (Ax)^T y = 0^T y = 0$$
這導致了維度間優美的平衡關係。在 $\mathbb{R}^n$ 中，維度總是互補的：$\dim(C(A^T)) + \dim(N(A)) = n$。同樣地，在 $\mathbb{R}^m$ 中，有 $\dim(C(A)) + \dim(N(A^T)) = m$。
弗雷德霍姆選項
存在一種結構上的二元性，其中以下問題恰好有一個具有解：
- $Ax = b$：向量 $b$ 屬於列空間。
- $A^T y = 0$ 且 $y^T b = 1$：$b$ 具有左零空間的分量，使系統不一致。
🎯 陷阱：兩面牆
房間中的兩面牆看似垂直，但它們卻不是正交子空間！它們共享一條相交線。由於該線上的一個向量不與自身垂直（$v^T v \neq 0$），嚴格定義即失效。在 $\mathbb{R}^3$ 空間中，兩個平面永遠不可能是正交子空間。